Tidak ada bukti yang menyokong dakwaan bahawa Ganapathy dilahirkan pada tahun 1912 di Kampung Thambikkottai Keelakkadu Sundaram di Daerah Thanjavur, Tamil Nadu, India Selatan. Namun, Pesuruhjaya Tinggi Tanah Melayu, Sir Henry Gurney menyatakan dalam telegram kepada Pejabat Kolonial bertarikh 2 Mei 1949, bahawa Ganapathy dilahirkan pada tahun 1917.[1]

Ayah Ganapathy adalah Arumugam Thevar dan nama ibunya adalah Vairathaal. Setelah kehilangan kedua ibu bapanya akibat kolera, beliau dan saudaranya Sarguna, tinggal bersama kakak mereka Vairamal. Kemudian, pada umur 10 tahun, mereka berhijrah ke Singapura bersama bapa saudara dan datuknya, Subramaniam Thevar.